永享年間に赤松祐尚が築城

岩繁城ともいう。南は海、西は夢前川、東は水尾川に面し、北は湿地帯で、守るのに大変つごうのよい城であった。鎌倉時代には、とりでが、造られていたが、室町時代になると播磨の守護大名であった赤松氏の一族が守った。しかし嘉吉の乱（1441年）によって勢力を失った後、三木氏が城主となって城をさらに整えた。天正8年（1580年）秀吉に滅ぼされるまで約140年間三木氏は、的形から室津の間を中心にその周辺を支配し一大勢力を誇っていた。城内には本丸・二の丸をはじめ、一族が、それぞれ大きな屋敷を構えた。また英賀御坊をはじめ多くの真宗寺院、商家や住宅が建てられ、交易の盛んな港のある城下町（49町・約900軒）として大いににぎわった。昭和13年ごろまでは図に示したように土塁が残っていたが、今では英賀神社と英賀薬師（城主の墓所・法寿寺跡）の北側だけに残っている。また英賀御坊跡は昭和13年ごろ夢前川の付替工事により消滅した。その時、瓦・礎石や日常使用していた器などが出土した。